We investigate algorithmic progress in image classification on ImageNet, perhaps the most well-known test bed for computer vision. We estimate a model, informed by work on neural scaling laws, and infer a decomposition of progress into the scaling of compute, data, and algorithms. Using Shapley values to attribute performance improvements, we find that algorithmic improvements have been roughly as important as the scaling of compute for progress computer vision. Our estimates indicate that algorithmic innovations mostly take the form of compute-augmenting algorithmic advances (which enable researchers to get better performance from less compute), not data-augmenting algorithmic advances. We find that compute-augmenting algorithmic advances are made at a pace more than twice as fast as the rate usually associated with Moore's law. In particular, we estimate that compute-augmenting innovations halve compute requirements every nine months (95\% confidence interval: 4 to 25 months).

基于变压器的语言模型利用注意机制在几乎所有自然语言处理（NLP）任务中进行大量绩效改进。在其他几个领域也广泛研究了类似的关注结构。尽管注意力机制可显着增强模型的性能，但其二次复杂性阻止了长序列的有效处理。最近的工作着重于消除计算效率低下的缺点，并表明基于变压器的模型仍然可以在没有注意力层的情况下达到竞争结果。一项开创性的研究提出了FNET，该研究将注意力层取代了变压器编码器体系结构中的傅立叶变换（FT）。 FNET通过消除注意机制的计算负担来加速训练过程，在加速训练过程的同时，实现了有关原始变压器编码器模型的竞争性能。但是，FNET模型忽略了FT的基本特性，可以利用经典信号处理，以进一步提高模型效率。我们提出了不同的方法，以有效地部署FT在变压器编码器模型中。我们提出的架构具有较少的模型参数，较短的培训时间，较少的内存使用情况以及一些额外的性能改进。我们通过对共同基准的广泛实验来证明这些改进。

随机且未知的散射介质背后的对象的分类为计算成像和机器视野字段的具有挑战性的任务。最新的基于深度学习的方法证明了使用图像传感器收集的扩散器延伸模式对对象进行分类。这些方法需要使用在数字计算机上运行的深神经网络进行相对大规模的计算。在这里，我们提出了一个全光处理器，使用单个像素检测到的宽带照明通过未知的随机相扩散器直接对未知对象进行分类。使用深度学习进行了优化的一组传播衍射层，形成了一个物理网络，该物理网络全面地绘制了随机扩散器后面输入对象的空间信息，以进入通过单个像素在输出平面上检测到的输出光的功率谱，衍射网络。我们在数值上使用宽带辐射通过随机新扩散器对未知手写数字进行分类，在训练阶段从未使用过，并实现了88.53％的盲目测试准确性。这种通过随机扩散器的单像素全光对象分类系统基于被动衍射层，该层可以通过简单地缩放与波长范围的衍射范围来缩放衍射特征，从而在电磁光谱的任何部分中运行，并且可以在电磁光谱的任何部分工作。这些结果在例如生物医学成像，安全性，机器人技术和自动驾驶中具有各种潜在的应用。

在本文中，我们考虑使用Palentir在两个和三个维度中对分段常数对象的恢复和重建，这是相对于当前最新ART的显着增强的参数级别集（PALS）模型。本文的主要贡献是一种新的PALS公式，它仅需要一个单个级别的函数来恢复具有具有多个未知对比度的分段常数对象的场景。我们的模型比当前的多对抗性，多对象问题提供了明显的优势，所有这些问题都需要多个级别集并明确估计对比度大小。给定对比度上的上限和下限，我们的方法能够以任何对比度分布恢复对象，并消除需要知道给定场景中的对比度或其值的需求。我们提供了一个迭代过程，以找到这些空间变化的对比度限制。相对于使用径向基函数（RBF）的大多数PAL方法，我们的模型利用了非异型基函数，从而扩展了给定复杂性的PAL模型可以近似的形状类别。最后，Palentir改善了作为参数识别过程一部分所需的Jacobian矩阵的条件，因此通过控制PALS扩展系数的幅度来加速优化方法，固定基本函数的中心，以及参数映射到图像映射的唯一性，由新参数化提供。我们使用X射线计算机断层扫描，弥漫性光学断层扫描（DOT），Denoising，DeonConvolution问题的2D和3D变体证明了新方法的性能。应用于实验性稀疏CT数据和具有不同类型噪声的模拟数据，以进一步验证所提出的方法。

盲目解构是一种在各种田地中产生的不良问题，从显微镜到天文学。问题的不良性质需要足够的前沿到达理想的解决方案。最近，已经表明，深度学习架构可以用作在无监督盲卷积优化期间的图像生成，然而甚至在单个图像上也呈现性能波动。我们建议使用Wiener-Deconvolulation在优化期间通过从高斯开始使用辅助内核估计来指导图像发生器在优化期间。我们观察到与低频特征相比，通过延迟再现去卷积的高频伪影。另外，图像发生器从模糊图像的速度再现解码图像的低频特征。我们在约束的优化框架中嵌入计算过程，并表明该方法在多个数据集中产生更高的稳定性和性能。此外，我们提供代码。

监管基于深度学习的方法，产生医学图像分割的准确结果。但是，它们需要大量标记的数据集，并获得它们是一种艰苦的任务，需要临床专业知识。基于半/自我监督的学习方法通​​过利用未标记的数据以及有限的注释数据来解决此限制。最近的自我监督学习方法使用对比损失来从未标记的图像中学习良好的全球层面表示，并在像想象网那样的流行自然图像数据集上实现高性能。在诸如分段的像素级预测任务中，对于学习良好的本地级别表示以及全局表示来说至关重要，以实现更好的准确性。然而，现有的局部对比损失的方法的影响仍然是学习良好本地表现的限制，因为类似于随机增强和空间接近定义了类似和不同的局部区域;由于半/自我监督设置缺乏大规模专家注释，而不是基于当地地区的语义标签。在本文中，我们提出了局部对比损失，以便通过利用从未标记的图像的未标记图像的伪标签获得的语义标签信息来学习用于分割的良好像素级别特征。特别地，我们定义了建议的损失，以鼓励具有相同伪标签/标签的像素的类似表示，同时与数据集中的不同伪标签/标签的像素的表示。我们通过联合优化标记和未标记的集合和仅限于标记集的分割损失，通过联合优化拟议的对比损失来进行基于伪标签的自培训和培训网络。我们在三个公共心脏和前列腺数据集上进行了评估，并获得高分割性能。

分布式深度学习框架（例如分裂学习）在培训深神经网络的计算成本以及一组数据持有人的集体数据的隐私性利用方面为巨大的好处。特别是，通过将神经网络分配在客户端和服务器之间，以便客户端计算初始图层集，并且服务器计算其余的。但是，此方法引入了试图窃取客户端数据的恶意服务器的唯一攻击向量：该服务器可以将客户端模型引导到学习其选择的任何任务，例如倾向于输出易于可逆值。有了一个已经提出的具体示例（Pasquini等，CCS '21），这种训练式攻击攻击构成了分裂学习客户的数据隐私的重大风险。在本文中，我们提出了SplitGuard，该方法可以通过这种方法来检测该方法是否是通过训练式攻击攻击的目标。我们通过实验评估方法的有效性，将其与潜在的替代方案进行比较，并详细讨论与其使用相关的各个点。我们得出的结论是，Splitguard可以有效地检测训练式攻击，同时最大程度地减少对手回收的信息量。

培训深度神经网络通常会迫使用户在分布式或外包环境中工作，并伴随着隐私问题。 Split学习旨在通过在客户端和服务器之间分配模型来解决这一问题。该方案据说提供了隐私，因为服务器无法看到客户端的模型和输入。我们表明，通过两次新颖的攻击，这是不正确的。 （1）我们表明，只有掌握客户端神经网络体系结构知识的诚实但充满感染的分裂学习服务器可以恢复输入样本并获得与客户端模型的功能相似的模型，而无需检测到。 （2）我们证明，如果客户端仅隐藏模型的输出层以“保护”专用标签，则诚实但有趣的服务器可以完全准确地推断出标签。我们使用各种基准数据集测试我们的攻击，并反对提议的隐私增强扩展以分裂学习。我们的结果表明，明文分裂学习可能会带来严重的风险，从数据（输入）隐私到知识产权（模型参数），并且不仅仅提供虚假的安全感。

深度神经网络（DNN）对于对培训期间的样品大大减少的课程进行更多错误是臭名昭着的。这种类别不平衡在临床应用中普遍存在，并且对处理非常重要，因为样品较少的类通常对应于临界病例（例如，癌症），其中错误分类可能具有严重后果。不要错过这种情况，通过设定更高的阈值，需要以高真正的阳性率（TPRS）运行二进制分类器，但这是类别不平衡问题的非常高的假阳性率（FPRS）的成本。在课堂失衡下的现有方法通常不会考虑到这一点。我们认为，通过在高TPRS处于阳性的错误分类时强调减少FPRS，应提高预测准确性，即赋予阳性，即批判性，类样本与更高的成本相关。为此，我们将DNN的训练训练为二进制分类作为约束优化问题，并引入一种新的约束，可以通过在高TPR处优先考虑FPR减少来强制ROC曲线（AUC）下强制实施最大面积的新约束。我们使用增强拉格朗日方法（ALM）解决了由此产生的受限优化问题。超越二进制文件，我们还提出了两个可能的延长了多级分类问题的建议约束。我们使用内部医学成像数据集，CIFAR10和CIFAR100呈现基于图像的二元和多级分类应用的实验结果。我们的结果表明，该方法通过在关键类别的准确性上获得了大多数病例的拟议方法，同时降低了非关键类别样本的错误分类率。

A key requirement for the success of supervised deep learning is a large labeled dataset -a condition that is difficult to meet in medical image analysis. Selfsupervised learning (SSL) can help in this regard by providing a strategy to pre-train a neural network with unlabeled data, followed by fine-tuning for a downstream task with limited annotations. Contrastive learning, a particular variant of SSL, is a powerful technique for learning image-level representations. In this work, we propose strategies for extending the contrastive learning framework for segmentation of volumetric medical images in the semi-supervised setting with limited annotations, by leveraging domain-specific and problem-specific cues. Specifically, we propose (1) novel contrasting strategies that leverage structural similarity across volumetric medical images (domain-specific cue) and (2) a local version of the contrastive loss to learn distinctive representations of local regions that are useful for per-pixel segmentation (problem-specific cue). We carry out an extensive evaluation on three Magnetic Resonance Imaging (MRI) datasets. In the limited annotation setting, the proposed method yields substantial improvements compared to other self-supervision and semi-supervised learning techniques. When combined with a simple data augmentation technique, the proposed method reaches within 8% of benchmark performance using only two labeled MRI volumes for training, corresponding to only 4% (for ACDC) of the training data used to train the benchmark. The code is made public at https://github.com/krishnabits001/domain_specific_cl. 34th Conference on Neural Information Processing Systems (NeurIPS 2020),